### 服务端程序
wasm_server="llama-api-server.wasm"

### 模型文件
# model_file="/data/llm/gemma2.gguf"
model_file="/data/ollama/models/blobs/sha256-0c722e83a9c2ec316d70d30c0a60692cc61dec8a3ad742caad4a0da398250751"
prompt_template="gemma-instruct"
model_name="Gemma-2-9B-Chinese-Chat"
#model_name="gemma2-27b-instruct-q8_0"
res='<|im_end|>'

### 打印信息
printf "模型文件: $model_file, prompt: $prompt_template, wasm服务端文件: $wasm_server \n\n"

printf "启动服务 ...\n\n"

wasmedge --dir .:. \
    --nn-preload default:GGML:AUTO:$model_file $wasm_server \
    -p $prompt_template \
    --ctx-size 4096 --batch-size 4096 \
    --log-stat \
    --model-name $model_name
